TailLoR: Protecting Principal Components in Parameter-Efficient Continual Learning
TailLoR：保护主成分的参数高效持续学习
🧭 参数高效持续学习 · 谱分解
Bitdefender, Romania
通过软谱惩罚将低秩适应引导至长尾奇异方向，缓解持续学习中的干扰与遗忘
📌 工作参考价值（4 点）
- 在电商推荐模型的持续更新中，用TailLoR替代标准LoRA，可将新任务对历史知识的干扰从主成分转移到长尾维度，有效缓解灾难性遗忘。
- 可直接将预训练权重的奇异基冻结为参考系，仅学习对奇异值矩阵的低秩更新，参数效率极高，适合部署于频繁迭代的推荐Agent。
- 软谱惩罚项可单独作为正则化技巧，融入现有LoRA微调流水线，强制模型利用未充分优化的长尾表示，提升多任务顺序学习能力。
- 该方法天然适配多域推荐场景（如不同商品类目），允许逐个域顺序学习而无需重训练所有数据，降低工程成本。